Beyond Shallow Alignment: How Post-Training Methods Determine Refusal Circuits And Steering Robustness
后训练目标如何重塑拒绝电路与转向鲁棒性
🧭 LLM 安全对齐与机制可解释性 ★ 深度解读
Macquarie University
比较 SFT、Ra-SFT、ORPO 三种后训练方法，发现训练目标而非数据重塑拒绝计算，且无一同时满足分布式编码、安全/效用可分离、细粒度可纠正
📌 工作参考价值（4 点）
- 在搜索推荐/Agent 场景使用 LLM 时，安全后训练不能只盯 ASR：ORPO 安全最强但易过度拒答（Gemma ORPO XSTest ORR 31.6%），会误杀合法 query、系统运维或广告文案生成。应同时评估 XSTest 类 over-refusal，并按业务敏感度选择 SFT/Ra-SFT/ORPO。
- 对 LLM 上线前的安全评估，可借鉴其 circuit-level 归因：检查 refusal 是否集中在少数 attention heads 或 MLP。若集中在 attention heads，模型对语义改写类攻击（happy_to_help、role_play）更脆弱，这正是搜索 query 被恶意改写时常见的风险。
- 若做在线安全干预或 activation steering，优先选择 recognition-layer 而非 execution-layer：Gemma Ra-SFT 在 recognition 层 steering 降低 ASR 18.8pp，而 execution 层仅 5.8pp，且对 MMLU 损害更小。这提示可用轻量 steering 做 Agent 流程中的安全过滤，但需先验证架构与训练目标。
- Ra-SFT 引入 reasoning chains 后，拒绝电路更分散、可纠正性更好，但推理开销上升；在低延迟搜索/推荐链路中需权衡。若对响应质量要求高，可考虑用短 reasoning 或只对高风险 query 触发 Ra-SFT。